• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本發明揭示一種階層式立體匹配裝置及方法。在本方法中，一壓縮影像係由壓縮左、右影像而形成，且一第一網格步驟係於該壓縮影像上進行。然後，一放大影像係由放大該壓縮影像之尺寸及亮度而產生，且一第二網格步驟係於該放大影像上進行。
    公开号:TW201322185A
    申请号:TW101124382
    申请日:2012-07-06
    公开日:2013-06-01
    发明作者:Jun-Seo Lee；Jeong-Mok Ha；In-Tae Na；Hong Jeong
    申请人:Lg Innotek Co Ltd；Postech Acad Ind Found；
    IPC主号:G06T7-00
    专利说明:
    階層式立體匹配裝置及方法
    本發明係主張關於2011年11月23日申請之韓國專利案號No.10-2011-0123170之優先權。藉以引用的方式併入本文用作參考。本發明係有關一種影像處理技術，且特別是有關於一種階層式立體匹配裝置及方法，其係被使用於一種三維影像處理系統中。
    一般而言，立體匹配係為一種技術，藉由匹配左、右影像之間的像素，來偵測一物體之距離。
    舉例而言，若一手指係位在兩眼之間很近的距離，當左眼張開、右眼閉合時，看見之手指係位於右側；當右眼張開、左眼閉合時，看見之手指係位於左側。另一方面，當一人望向一山峰頂端時，不論是只有左眼張開或是只有右眼張開，看見該山頂均位於兩眼中間的位置。
    在立體匹配之中，當使用兩台攝影裝置來取得一影像時，各攝影裝置拍攝物體之位置係隨著一距離而改變。在此情況下，係使用距離變化來取得距離資訊。
    此處將以一照片為例，來說明左右影像間之差。圖1A、1B係分別繪示有左影像及右影像之實例圖。如圖1A、1B所示，可以看見左影像及右影像之間以深色繪示之物體之位置之差異較大，而左影像及右影像之間以淺色繪示之背景之差異較小。
    圖2A、2B係分別繪示有圖1A中所示之左影像之距離資訊以及圖1B中所示之右影像之距離資訊。如圖2A、2B所示，當一物體之顏色變亮時，該物體與攝影裝置之距離係為較近。
    一個人類可以使用左右影像來辨識距離，但電腦無法以這種方式為之。因此，電腦係使用立體匹配技術。立體匹配技術係用以分別偵測出與左、右影像之對應像素匹配之像素。
    在立體匹配技術中，係假設左、右影像均已經過影像修正(rectified)。當使用一立體攝影裝置任意拍攝照片時，該照片係為一未修正狀態，如圖3A所示。
    當一影像係使用一立體攝影裝置來拍攝時，圖3A係繪示了一未修正影像之實例，而圖3B係繪示了一修正後影像之實例。
    也就是說，圖3A所示之影像係代表左、右影像未經修正。若如圖3B所示，進行影像修正以補償左、右影像之間的未修正情況，則左、右影像係被修正，而使得左、右影像具有相同焦距(focal distance)，以及相同基準線(baseline)。其左、右影像之縱向方位(longitudinal position)亦受到修正，故當左、右影像各自橫向抽取出一線時，左、右影像之被抽取出的線(extracted lines)係指示出相同的部分。
    立體匹配技術可使用數種方法來進行，而一網格(Trellis)方法係被用作為代表。
    網格係為一種立體匹配方法；其係藉由比較分別從左、右影像抽取出之一線段，來偵測出一匹配點。在網格中，係對從分別左、右影像抽取出之單一線獨立進行匹配程序，不與其他線一起處理。因此，影像中橫向線條所造成的條狀雜訊(streak noise)時常出現，導致影像品質的劣化。
    本發明係欲解決上文所述之習知技藝之問題。據此，本發明之一目的係在於提供一種階層式立體匹配裝置及方法，其中係針對使用階層結構式影像金字塔(image pyramid)之一小影像，進行一網格步驟，並估算一大影像之轉變(transition)，藉此得以減少雜訊之影響。
    為達上述目的，本發明之一方面係提供一種階層式立體匹配裝置，該裝置係包括：一階層式結構形成單元，其係藉由將一立體攝影裝置所獲取之左、右影像之尺寸壓縮至預設倍數之一半，來形成一壓縮影像(reduced image)；以及一網格單元(trellis unit)，其係用以對該壓縮影像進行一第一網格步驟，並將經過第一網格步驟之該影像之尺寸及亮度放大，然後對該放大影像(magnified image)進行一第二網格步驟。
    較佳地(但本發明並不以此為限)，該網格單元係重複地放大影像之尺寸與亮度，並重複進行第二網格步驟，至預設次數。
    較佳地(但本發明並不以此為限)，該網格單元係於先前視差(disparity)之周邊像素(peripheral pixels)進行第二網格步驟。
    較佳地(但本發明並不以此為限)，該階層式結構形成單元係包括：一模糊化單元(blurring unit)，用以評估一任意像素(arbitrary pixel)與預設周邊像素之平均值，並將該評估後像素平均值儲存在對應之像素中；以及一次取樣單元(sub-sampling unit)，用以在多個像素中選擇一者。
    較佳地(但本發明並不以此為限)，該次取樣單元係自四像素中選擇一者。
    較佳地(但本發明並不以此為限)，該網格單元係包括：一線抽取單元(line extracting unit)，其係用以抽取一線，該線係對應於一影像之一對應點；一亮度差計算單元(brightness difference calculating unit)，其係用以計算該線抽取單元抽取出之線之像素的亮度差；一路徑指定單元(path specifying unit)，其係使用該亮度差與一預設之不匹配參數(mismatching parameter)來指定路徑；一最佳路徑決定單元(optimal path determining unit)，其係用以從該路徑指定單元所指定之路徑之中決定一最佳之路徑；以及一放大單元(magnifying unit)，用以放大影像之尺寸/亮度。
    較佳地(但本發明並不以此為限)，該亮度差計算單元係將亮度差應用於一網格結構中。
    較佳地(但本發明並不以此為限)，於網格結構之一不匹配節點(mismatching node)，該路徑指定單元指定下述數值中最小者：一前階段之一等階值(equal level value)；藉由將不匹配參數加上一較高階值而獲得之值；以及藉由將不匹配參數加上一較低階值而獲得之值。
    較佳地(但本發明並不以此為限)，於網格結構之一匹配節點，該路徑指定單元係以將其本身之節點值加上前階段之等階值，而指定一最小值。
    較佳地(但本發明並不以此為限)，該最佳路徑決定單元係藉由決定一最小化能量的視差，來決定一最佳路徑。
    較佳地(但本發明並不以此為限)，當進行第二網格步驟時，該亮度差計算單元係計算一先前視差區域之周邊像素之亮度差。
    本發明之另一方面係提供一種階層式立體匹配方法，其係包括：藉由壓縮左、右影像，來形成一壓縮影像；對該壓縮影像進行一第一網格步驟；藉由放大該壓縮影像之尺寸及亮度，而產生一放大影像；以及對該放大影像進行一第二網格步驟。
    較佳地(但本發明並不以此為限)，形成壓縮影像之程序係包括：評估一任意像素與預設周邊像素之平均值，並將該評估後像素平均值儲存在對應之像素中；以及在多個像素中選擇一者。
    較佳地(但本發明並不以此為限)，形成壓縮影像之程序係進一步包括：以預設次數重複進行該儲存及選擇步驟。
    較佳地(但本發明並不以此為限)，進行第一網格步驟之程序係包括：自該壓縮影像抽取一線；計算該線所有像素的亮度差，並將計算出的該亮度差應用於一網格結構中；使用該亮度差與一預設之不匹配參數來指定路徑；以及自該些指定路徑之中決定一最佳之路徑。
    較佳地(但本發明並不以此為限)，該方法係進一步包括：以預設次數重複進行產生放大影像以及進行第二網格步驟。
    較佳地(但本發明並不以此為限)，進行第二網格步驟之程序係包括：自該放大影像抽取一線；計算一先前視差區域之周邊像素之亮度差，並將計算出的該亮度差應用於該網格結構中；使用該亮度差與該預設不匹配參數來指定路徑；以及自該些指定路徑之中決定一最佳之路徑。
    較佳地(但本發明並不以此為限)，指定路徑之程序係包括：於網格結構之一不匹配節點，指定下述數值中最小者：一前階段之一等階值、藉由將不匹配參數加上一較高階值而獲得之值、以及藉由將不匹配參數加上一較低階值而獲得之值；以及於網格結構之一匹配節點，將其本身之節點值加上前階段之等階值，而指定一最小值。
    較佳地(但本發明並不以此為限)，決定最佳路徑之程序係包括：藉由決定一最小化能量的視差，來決定一最佳路徑。
    如上所述，根據本發明，得以預先估算使用階層式結構之一影像所得之結果，並使用該預估結果來輸出一精確結果。
    又，本發明係使用一具有階層式結構之影像金字塔，故可降低計算的複雜度，並可使用少量計算來預先估算一結果。
    在下文中，將配合圖示詳細說明本發明之實施例。在此所述之結構與圖示所繪示者，僅為本發明之實施例，其可具有多種變化及修改，並非用以限定本發明。相反的，在此所述之實施例係被提供，以使熟習此項技術者可輕易實現本發明之內容。然而，本發明之揭示可以根據本發明的精神和範疇以不同形式實施，而並不用以限制本發明。
    應予理解的是，儘管「第一」、「第二」以及類似的用詞在此可用來描述不同的元件；但這些元件並不限制於此些用詞。這些用詞僅係用以區分各項元件者。因此，下述討論到一「第一」元件時，其亦可被定義為一「第二」元件，而不背離本發明揭示之精神和範疇。
    應予理解的是，當提及一元件係與另一元件「連接」或「耦接」時，則其可以是直接地與另一元件「連接」或「耦接」，或存在中介元件。相反地，當提及一元件是「直接地」與另一元件「連接」或「耦接」時，則其是直接地與另一元件「連接」或「耦接」，而不存在中介元件。
    本發明使用之詞語僅係為了說明本發明實施例，而非用以限定本發明。在此處，除非內文有清楚指出其數目，否則單數形式詞「一」、「一種」、「該」係包括複數指稱。
    進一步應理解的是，在本發明中所使用「包括」/「包含」/「具有」等詞的程度，係指定說明之功能、總數、步驟、操作、元件、及/或組成部分，但並不排除其他及/或額外的功能、總數、步驟、操作、元件、組成部分、及/或其群組。
    在圖示中，為求清晰和便利，層及區域的厚度尺寸係被放大。相同參考的數字將會指定到圖示解說中的相同元件。
    在下文中，將首先說明在此作為立體匹配技術之一網格方法，接著將配合所附圖式，說明根據本發明一實施例之一種階層式立體匹配裝置(其係應用該網格方法)。
    首先，說明一視差d與一三維距離Z。立體匹配係由二維的左、右影像來重新建構一三維空間，如一立體影像。在立體匹配技術之中，係從兩個二維影像中抽取出對應點，然後以該對應點之間的幾何關係(geometric relationship)來估算出三維資訊。
    圖4係繪示有用以估算三維資訊之一極線(epipolar line)之一實例圖。
    為了使用從兩個二維影像中抽取出之對應點之間的幾何關係來估算三維資訊，在一立體影像中，對應於一影像(一第一影像)之一點P的點，必須被從另一影像(一第二影像)中抽取出來。在此情況下，可以看到這個點(P’、P1’、或P2’)係存在於對應影像(如該第二影像)之一極線上，對應於參照影像(reference image)(如該第一影像)之點P。若進行該極線之修正，則只需要檢驗兩條水平延伸的單一掃描線(scan lines)，就可以進行立體匹配。
    圖5係繪示有視差與三維資訊之間關係的實例圖，且其係顯示由一立體攝影裝置所獲取之左、右影像之間的關係，以及形成於影像中之一物體。
    對應像素之間的視差d係為一單一線條上之一對應點差值(corresponding point difference)，其係由下述的式1來表示之。
    運算式1 d=x r -x l
    在此處，d代表一視差，x r 代表右影像之一x軸長度，而x l 代表左影像之一x軸長度。當一點P(x,y,z)係被攝影為左、右影像，則參數之間的關係可由一幾何結構來取得，如下述的式2所示。
    運算式2 x r -x l ：f=B：Z
    在此處，f代表一焦距，B(基準線長度)代表兩攝影裝置之間的一距離，而Z代表一三維距離。
    據此，三維資訊(如一物體深度)可使用焦距f、兩攝影裝置之間的距離B、以及兩影像之對應點來估算。
    一普通攝影裝置係將一三維影像儲存為一電荷耦合元件(charge coupled device，CCD)感測器或互補式金氧半導體(complementary metal oxide semiconductor，CMOS)感測器中之二維離散成份(discrete component)。因此，該觀察影像(observed image)係由離散點(discrete points)來顯示。
    圖6係繪示有左、右影像中離散成份所造成之視差之實例圖。
    如圖6所示，視差可由左、右影像中離散成份來表現。距離影像最遠的一點之視差為d=0(例如，z=∞)；且在同一條線上的所有接點(contact point)均具有相同的視差。若三維深度Z(三維距離)增加，則視差縮小。
    一黑點，如圖6所示，係為一節點；匹配係在此進行，以確認三維座標是否為一物體之表面，且其係被界定於投影線(projection lines)彼此交會之處。當相匹配在某節點進行時，兩影像之畫素(在該節點交會者)係會配對，也就是所謂的「匹配」。相反的，在兩影像其中一影像裡可以被看見、但另一影像裡則無法被看見之物體表面，這種區域亦可能存在，此即稱為「不匹配」。
    在圖6中，在左側之一投影線係與在右側之複數個投影線相交會。在此情況下，正確的匹配僅會發生在匹配節點處(該左側投影線與該些右側投影線其中一者相交會之處)。如此，若有一影像投射之投影線間的關係受到限制，則需搜尋的路徑就會隨之減少，進而得以改善計算效率，並降低計算量。立體匹配技術係根據最大事後機率(maximum a posteriori，MAP)估計，用以搜尋使一能量函數最小化之一視差。為達此目的，使用基於動態程式設計(dynamic programming，DP)之一維特比演算法(viterbi algorithm)，來搜尋一最佳路徑。也就是說，立體匹配技術可由使用下列方法來進行：於匹配及不匹配節點界定出路徑；將提供各路徑之代價各自做出總和；以及偵測出具有最小總代價之路徑。
    圖7係繪示有在一匹配節點與一不匹配節點上，各路徑之代價之一實例圖。在此處，黑點代表一匹配節點，白點代表一不匹配節點。
    若假設一現在階段為一階段i，而具有最小總代價之路徑係為將從階段i至階段i-1之各路徑之總代價與最小值(直到階段i-1)相加所取得之值中的最小值。
    在不匹配節點處，係由在下述數值之中，指定一最小值，來形成一路徑：前階段之一等階值；藉由將一不匹配參數加上一較高階值而獲得之值、以及藉由將不匹配參數加上一較低階值而獲得之值。在匹配節點處，係由將其本身之節點值加上前階段之等階值之一節點值，來形成一路徑。在此情況下，匹配節點需要左、右影像之像素值(pixel values)，進而方能計算一匹配代價(matching cost)。
    該最佳路徑係存在於匹配節點與不匹配節點之間，且係與藉由分派匹配與不匹配代價至該些路徑所得到之結果相等。一個階段係由一格狀結構中，在一路徑上之一縱向線之節點由左至右之對應時間來界定。
    應用此網格方法之條件如後所述。
    首先，一物體在一右影像中存在之位置，不可以定位於物體在一左影像中存在之位置的更右邊。因一左攝影裝置的位置係較一右攝影裝置更靠左邊，故很明顯的，該物體係會位於右影像中之左側。當假設在階段i中之視差係為d i 時，d i =x l -x r ，且不存在負視差(negative disparity)。
    其次，第一視差d 0 以及最後視差d 2N 係具有一值等於零。基本上，網格方法之進行，係使一路徑係從d 2N 開始追蹤。在此情況下，若一基值(basic value)不指定，則無法進行網格方法。若d 2N 係被明確指定為一確定值，則該路徑係開始於該確定值。然而，因為d 2N 並未被明確指定為一確定值，故該路徑係從d 2N 被指定為零之狀態下開始。
    第三，d i 與d i-1 之間之差不能大於1。此條件係為簡化網格方法的實施。因此系統必須要使用硬體才能實施，故必須具備此條件。若不具備此條件，則不匹配節點之變動節點數量會增加，導致複雜度上升。
    上述為傳統網格方法之進行所需具備的三種條件。而在本發明中，因為其階層式結構應用之需求，除上述三種條件外，需額外符合另一條件。此條件將在後文中說明之。
    搜尋一最佳路徑之演算法係如下所示。
    在階段i=0中所有節點之代價δ最初始係為如下列式4所表示者。在此處，其初始化程序係沿著「i=1,…,2N」之一前進方向重複進行，藉此以在指定的視差d與各節點獲取一最佳路徑以及一最佳代價。
    當i+d係為一偶數時，代價δ係代表一不匹配節點。而在不匹配節點處之代價δ與最佳視差Ψ係為如下列式5所表示者。
    當i+d係為一奇數時，代價δ係代表一匹配節點。而在匹配節點處之代價δ與最佳視差Ψ係為如下列式6所表示者。
    當i係為2N且j係為零時，該重複向前之運算便即完成。然後，反向之初始值(一代價與一最佳視差)係為如下列式7所表示者。
    運算式7 δ=δ(2N,0) ψ=ψ(2N,0)
    接著，反向遞迴搜尋係於該階段反向進行，如下列式8所表示，進而獲取一最佳視差。
    運算式8 ψ(i-1)=ψ(i)+ψ(i,ψ(i)) i=2N,...,1
    γ係代表滿足式5之一不匹配參數，且一影像尺寸係定義為M×N。
    在下文中，將以使用一真實影像之一實例來說明前述之方法。
    圖8係繪示有使用兩攝影裝置所拍攝之左、右影像之一實例圖。
    如圖8所示，從左、右影像抽取對應線(corresponding lines)(左影像中y=3之一線；右影像中y=3之一線)，藉此以算出所有像素間之亮度差。
    圖9A係繪示有網格方法之一實例圖。
    為求圖示表現清楚，左上角之座標係表示為(0,0)。第零條側線(lateral line)與第七條側線，兩者均為99。為求表現清楚，係使用99為一值取代無限大(∞)，以利計算。
    右影像之一第一值14與左影像之值13、14、14、22、23、及10，在(1,1),(2,2)…(6,6)處之間的差值為：1、0、0、8、9、4。而右影像之一第二值22與左影像之值14、14、22、23、及10，在(1,3),(2,4)…(6,8)處之間的差值為：8、8、0、1、12。此方式所計算出之像素差係被儲存如圖9A所示。
    圖9B係藉圖7所示之方法，使用圖9A所示者來完成。亦即當在一不匹配節點(圖中以塗繪淺色斜線者來表示)之情況下，藉由比較：前階段之一等階值、將一預設γ(不匹配參數)分別加上一較高階值及一較低階值而獲得之值，來得到其中最小之值，並將其儲存於該不匹配節點之中。而在一匹配節點(圖中以塗繪深色斜線者來表示)之情況下，藉由將其本身之節點值加上前階段之等階值所獲取之值，係被儲存於該匹配節點之中。
    圖9B係繪示有網格方法之流程之一實例圖。
    網格方法係與能量的最小化有關。若搜尋一能量最小化之路徑，則該路徑正是影像之深度。「能量最小化」一詞在此係指左、右影像之亮度差為最小時；亦即能量最小化之路徑係指匹配值最接近者。
    在圖9B中，最右值係為29；而29及22係位於該最右值之左側。因具有一最小值之路徑搜尋需在22與29之間搜尋，故選擇22此數值。
    圖9C係繪示有各節點值是從何路徑而來之一實例圖。當其對應節點儲存之值係來自於前階段之等階時，係儲存值「0」。當其對應節點儲存之值係來自於前階段之較低階時，係儲存值「1」。當其對應節點儲存之值係來自於前階段之較高階時，係儲存值「-1」。
    圖9D係繪示有使用圖9C中路徑以估算最小化能量之一視差之流程之一實例圖。在圖9D中，以格狀陰影塗繪之節點係代表最小化能量路徑，而該節點之下方部分係指對應路徑之視差。從零開始，沿著向左的方向將對應值與原本儲存在路徑中之值相加，可得到該視差值。
    在下文中，將說明根據本發明一實施例，使用網格方法之階層式立體匹配裝置及方法。
    圖10係根據本發明一實施例，繪示有一階層式立體匹配裝置之一結構圖。
    如圖10所示，根據本發明實施例之階層式立體匹配裝置係包括：一階層式結構形成單元10；以及一網格單元20。
    該階層式結構形成單元10係將由一立體攝影裝置(未圖示)所得到之左、右影像壓縮至。
    在本發明實施例中，具有一階層式結構之一影像金字塔係被使用，以減少條狀雜訊。該影像金字塔係為一種方法，其中一壓縮影像中之資訊係重複壓縮一影像之尺寸，直至一半大小為止。
    當網格方法係被用在壓縮影像中時，一具有高複雜度之影像之轉變可使用一具有低複雜度之影像來估計。
    該階層式結構係頻繁地被使用於影像處理中。若使用將原始影像之尺寸係被壓縮了1/4所成之一影像，則其複雜度係被壓縮至1/4。因該壓縮影像具有原始影像之大部分資訊，故可使用該壓縮影像來估計該原始影像之轉變。該階層式結構可由重複地進行影像劣化(degradation)和次取樣(sub-sampling)。以下將配合圖11說明之。
    圖11係根據一實施例，繪示有圖10中階層式結構形成單元之一詳細結構圖。
    如圖11所示，根據本發明實施例，階層式結構形成單元10係包括一模糊化單元11以及一次取樣單元12。
    對於熟悉此項技術者而言，明顯可知，當左、右影像通過階層式結構形成單元10中之模糊化單元11與次取樣單元12時，左、右影像之尺寸各自被壓縮至1/2。且當模糊化與次取樣之程序係藉由將左、右影像從次取樣單元12回授至模糊化單元時，該左、右影像之尺寸各自被壓縮至1/4。
    模糊化單元11係評估一任意像素與周邊像素之平均值，並將數個像素之資訊儲存在一像素中。
    舉例而言，為了在一位置(4,4)取得一像素之模糊化結果，模糊化單元11係估算位於(3,3)、(3,4)、(3,5)、(4,3)、(4,4)、(4,5)、(5,3)、(5,4)、及(5,5)之位置之像素(亦即位置(4,4)像素之周邊像素)之一亮度平均，且將該平均新儲存於該位置(4,4)像素，周邊像素可被定成較寬之範圍。指定周邊像素之方法係具有各種不同修正方法，其明顯可見於與本發明具相關性之其他習知技藝中。
    次取樣單元12係選擇數像素中任一者，並壓縮該被選擇像素之大小。根據本發明實施例，因階層式結構形成單元10係將一影像大小壓縮至1/2，故次取樣單元12係選擇四像素中任一者，並壓縮該被選擇像素之大小。
    因為次取樣單元12係選擇四像素中任一者，故原始影像的資訊會消失。然而，模糊化單元11係在次取樣單元12進行次取樣之前便先進行模糊化，故能夠盡可能的保留影像資訊。
    圖12係根據一實施例，繪示有圖10中網格單元之一詳細結構圖。
    如圖12所示，根據本發明實施例，網格單元20係包括：一掃描線抽取單元21；一亮度差計算單元22；一路徑指定單元23；一儲存單元24；一最佳路徑決定單元25；以及一放大單元26。
    掃描線抽取單元21係對應於被階層式結構形成單元10所壓縮之左、右影像之對應點，分別抽取出線條(如圖8所示之y=3線)。圖9A至9D係繪示抽取線之一實例。
    亮度差計算單元22係計算由掃描線抽取單元21所抽取之線之像素間的亮度差。由亮度差計算單元22所計算之亮度差結果係如圖9A所示。
    當網格方法係在一壓縮影像上進行時，亮度差計算單元22係計算抽取線所有像素之間的亮度差。然而，當網格方法係在大小與亮度均經過放大之一壓縮影像上進行時，亮度差計算單元22可計算前視差區域(previous disparity region)之周邊像素之間的亮度差。在後文中將說明這一點。
    路徑指定單元23係使用由亮度差計算單元22所計算出之亮度差，以及一預設不匹配參數γ，來指定一路徑。在下文中，將配合圖9B，說明路徑指定單元23所用來指定路徑之方法。
    也就是說，當在一不匹配節點(圖中以塗繪淺色斜線者來表示)之情況下，藉由比較：前階段之一等階值、將一預設γ(不匹配參數)分別加上一較高階值及一較低階值而獲得之值，來得到其中最小之值，並將其儲存於該不匹配節點之中。而在一匹配節點(圖中以塗繪深色斜線者來表示)之情況下，藉由將其本身之節點值加上前階段之等階值所獲取之值，係被儲存於該匹配節點之中。
    路徑指定單元23所指定之路徑可被儲存於儲存單元24之中。
    最佳路徑決定單元25係在路徑指定單元23所指定之路徑之中，選定一最佳路徑。亦即最佳路徑決定單元25係決定最小化能量之一視差。在下文中，將配合圖9D，說明選定最佳路徑與視差之程序。
    如此，網格單元20係於具有一階層式結構之一影像之所有線上進行一Trellis方法，而放大單元26係將經Trellis處理後之影像之大小及亮度放大至原始影像之兩倍大。在被階層式結構形成單元10所壓縮之影像中，當影像之橫向尺寸係被壓縮至一半時，影像亮度係被壓縮至一半。據此，放大單元26係將影像之亮度放大為原始影像之兩倍大，同時也將影像大小的橫向尺寸與縱向尺寸均放大為原始影像之兩倍大。
    接著，經亮度差計算單元22、路徑指定單元23、最佳路徑決定單元25，再度進行Trellis方法於被放大單元26所放大之影像上。
    當階層式結構形成單元10壓縮原始影像之縱向與橫向尺寸至1/2時，該壓縮影像係由通過經放大單元26一次之影像來放大。當階層式結構形成單元10壓縮原始影像之縱向與橫向尺寸至時，該壓縮影像係由通過經放大單元26共n次之影像來放大。這一點係明顯可見於與本發明具相關性之其他習知技藝中。
    在下文中，將配合圖式說明根據本發明實施例之階層式立體匹配方法所使用之影像匹配裝置。
    圖13A係根據本發明一實施例，繪示有使用圖10中網格單元20來進行網格方法於一壓縮影像上以獲取之結果之一實例圖。當原始影像之尺寸係為8×8時，被階層式結構形成單元10所壓縮至原本的1/2之影像的尺寸係為4×4。
    圖13B係繪示有使用放大單元26來放大圖13中之影像所獲取之結果之一實例圖。
    如圖13B所示，放大單元26係將影像之尺寸及亮度放大至原始影像之兩倍大。因次取樣單元12之次取樣程序中，四像素係被減少至一像素，故當影像修復(restored)後，一像素係被放大為四像素。
    最上層的線將被應用於網格結構。
    圖13C係繪示有將圖13B中最上層線應用於網格結構所獲取之結果之一實例圖。
    如圖13C所示，匹配係對應由一深色實線框架所指出之影像資訊進行，作為壓縮影像之結果。且因此，網格方法可在深色實線框架之範圍內，於一大影像中進行。然而，因實線框架彼此之間並不相連，故無法對應網格方法之第三條件。
    在壓縮影像之深度資訊無法完全對應於原始影像之情況下，很難精準地估算出原始影像之深度資訊。因此，提供一種原始影像得以具備之一深度之限制條件。
    也就是說，當壓縮影像之深度資訊係被定義為p i ，且原始影像之深度資訊係被定義為d i 時，d i 係具有一值，等於或略小於或略大於p i 之值。若假設其範圍係為p i ±β，則原始影像之結果可被壓縮影像之結果所影響。β係為一任意值(arbitrary value)。根據本發明一實施例，d i =p i ±β係為另一應用網格方法之條件。在下文中，將稱之為「網格方法之第四條件」。
    圖13D係根據本發明一實施例，繪示有提供圖13C中之限制條件所獲取之結果之一實例圖。
    如圖13D所示，網格方法之應用範圍係如深色實線框架所示(其係為壓縮影像之深度資訊)，且係由虛線框架所示者來放大之。圖13D係繪示了當β=2之一情況。
    如此，當網格方法係進行於放大影像上時，亮度差計算單元22並不會計算線抽取單元21所抽取之線之所有像素之亮度差，而是計算前視差區域之周邊像素之亮度差。
    據此，因為除了虛線框架所框出的部分之亮度差計算以外，其餘均可省略，故可以降低計算之複雜度。
    圖14A、14B係繪示有應用圖13C、13D中之程序於具有一大尺寸之一影像中所獲取之結果之實例圖。
    如圖14A、14B所示，網格只要被應用於圖14B中之白色區域中便足夠了。因此，當根據本發明實施例之階層式結構係被使用時，與使用過去的方法相比，可以大量減少計算量。
    圖15A、15B係根據本發明一實施例，繪示有一階層式立體匹配方法之流程圖。
    如圖15A、15B所示，根據本發明實施例之階層式立體匹配方法中，係先由一立體攝影裝置(未圖示)來取得左、右影像(步驟S10)。接著，模糊化單元11係於具有預設尺寸、亮度之左、右影像進行模糊化程序(步驟S12)；然後，次取樣單元12係在該左、右影像進行次取樣程序(步驟S14)。
    如上所述，模糊化(步驟S12)係包括：評估一任意像素與周邊像素之平均值，並將數個像素之資訊儲存於一像素中。而次取樣(步驟S14)係包括：在四個像素中選擇一者，並壓縮該選擇像素之大小。
    經由模糊化(步驟S12)與次取樣(步驟S14)，構成原始影像之左、右影像，其各自之亮度與尺寸係被壓縮至1/2。
    在本發明實施例中，原始影像可被壓縮至；其係可以所需次數來進行模糊化(步驟S12)與次取樣(步驟S14)，以將影像壓縮至(步驟S16)。
    接著，線抽取單元21係自壓縮後的左、右影像抽取線(步驟S18)，而亮度差計算單元22係計算對應線之所有像素間之亮度差(步驟S20)。然後，計算出之亮度差係被應用於網格中。
    路徑指定單元23係使用步驟S18中所計算出的亮度差，以及一預設之不匹配參數γ，來指定路徑(步驟S22)。最佳路徑決定單元25係從步驟S22中指定之路徑裡選定一條最佳路徑(步驟S24)。亦即，最佳路徑決定單元25係決定能量最小化之一視差。
    如此，該對應抽取出來之線而決定最佳路徑之步驟S20至步驟S24，係在該壓縮影像之所有線上進行(步驟S26)。
    之後，放大單元26係將已決定最佳路徑之影像之大小與亮度放大至該原始影像之兩倍大(步驟S28)。接著，線抽取單元21係自左、右影像重新抽取線(步驟S30)。接著，該網格方法之該第四條件係被應用於該些抽取線(步驟S32)。以下配合圖13D、14D，說明網格方法之第四條件被應用於抽取線之實例。如此，如上所述，若網格方法之第四條件係被應用，則進行網格方法時，可減少要計算之像素之數量。
    隨後，亮度差計算單元22係計算像素(這些像素有網格方法進行於其對應線上)之間的亮度差(步驟S34)，且計算出的亮度差係被應用於網格結構。也就是說，亮度差計算單元22係計算該網格之該第四條件應用之像素之間的亮度差。在此情況下，亮度差計算單元22係計算由該前網格方法所決定之一視差區域之周邊像素間之亮度差。
    路徑指定單元23係使用步驟S34中所計算出像素間的亮度差，以及一預設之不匹配參數γ，來指定路徑(步驟S36)。最佳路徑決定單元25係從步驟S36中指定之路徑裡選定一條最佳路徑(步驟S38)。亦即，最佳路徑決定單元25係決定能量最小化之一視差。
    如此，該對應抽取出來之線而決定該最佳路徑之步驟S32至步驟S38，係在該壓縮影像之所有線上進行(步驟S40)。
    之後，當放大影像之大小不等於原始影像之大小時(步驟S42)，對應影像之大小與亮度係被放大(步驟S28)，且步驟S30至步驟S40可進行於放大影像上。
    根據本發明實施例，對於熟悉此項技術者而言，明顯可知，當影像在步驟S16中被壓縮至，步驟S28至步驟S40係進行n次。
    在根據本發明實施例之匹配方法中，該原始影像之該立體匹配結果最終係輸出(步驟S44)。
    如上所述，本發明係可事先估算一影像會產生之結果(使用階層式結構)，並以該估算結果來輸出一精確結果。另，係使用具有階層式結構之一影像金字塔，藉此使得本發明得以降低計算之複雜度，並使用一小量計算，事先估出一結果。
    雖然參考實施例之許多說明性實施例來描述實施例，但僅用以描述特定實施例而非限制本發明之範疇。熟悉此項技術者將可以理解，在本發明技術精神及所附申請專利範圍之範疇內，所主張之各種變化及修改為可能的。
    10‧‧‧階層式結構形成單元
    11‧‧‧模糊化單元
    12‧‧‧次取樣單元
    20‧‧‧網格單元
    21‧‧‧掃描線抽取單元
    22‧‧‧亮度差計算單元
    23‧‧‧路徑指定單元
    24‧‧‧儲存單元
    25‧‧‧最佳路徑決定單元
    26‧‧‧放大單元
    S10、S12、S14、S16、S18、S20、S22、S24、S26、S28、S30、S32、S34、S36、S38、S40、S42、S44‧‧‧步驟
    P、P1、P2、O、e‧‧‧點
    P1’、P2’、P3’、O’、e’‧‧‧點
    Xl‧‧‧右影像的x軸長度
    Xr‧‧‧左影像的x軸長度
    B‧‧‧基準線長度
    Z‧‧‧三維距離
    f‧‧‧焦距
    d‧‧‧視差
    fl、fr、fi‧‧‧焦距
    x、y、z‧‧‧座標
    圖1A、1B係分別繪示有左影像及右影像之實例圖；圖2A、2B係分別繪示有圖1A中所示之左影像之距離資訊以及圖1B中所示之右影像之距離資訊；圖3A係繪示了一未修正影像之實例，圖3B係繪示了一修正後影像之實例(當使用一立體攝影裝置來拍攝時)；圖4係繪示有用以估算三維資訊之一極線之一實例圖；圖5係繪示有視差與三維資訊之間關係之一實例圖；圖6係繪示有左、右影像中離散元件所造成之視差之一實例圖；圖7係繪示有在一匹配節點與一不匹配節點上，各路徑代價之一實例圖；圖8係繪示有使用兩攝影裝置所拍攝之左、右影像之一實例圖；圖9A係繪示有網格方法之一實例圖；圖9B係繪示有網格方法之流程之一實例圖；圖9C係繪示有各節點值是從何路徑而來之一實例圖；圖9D係繪示有使用圖9C中路徑以估算最小化能量之一視差之流程之一實例圖；圖10係根據本發明一實施例，繪示有一階層式立體匹配裝置之一結構圖；圖11係根據一實施例，繪示有圖10中階層式結構形成單元之一詳細結構圖；圖12係根據一實施例，繪示有圖10中一網格單元之一詳細結構圖；圖13A係根據本發明一實施例，繪示有進行網格方法於一壓縮影像上獲取之結果之一實例圖；圖13B係繪示有使用一放大單元來放大圖13中之一影像所獲取之結果之一實例圖；圖13C係繪示有將圖13B中最上層線應用於網格結構所獲取之結果之一實例圖；圖13D係根據本發明一實施例，繪示有提供圖13C中之限制條件所獲取之結果之一實例圖；圖14A、14B係繪示有應用圖13C、13D中之程序於具有一大尺寸之一影像中所獲取之結果之實例圖；以及圖15A、15B係根據本發明一實施例，繪示有一階層式立體匹配方法之流程圖。
    20‧‧‧網格單元
    21‧‧‧掃描線抽取單元
    22‧‧‧亮度差計算單元
    23‧‧‧路徑指定單元
    24‧‧‧儲存單元
    25‧‧‧最佳路徑決定單元
    26‧‧‧放大單元
    权利要求:
    Claims (19)
    [1] 一種階層式立體匹配裝置包括：一階層式結構形成單元，其係藉由將使用一立體攝影裝置所獲取之左、右影像之尺寸壓縮至一預設倍數之一半，來形成一壓縮影像；以及一網格單元(trellis unit)，其係用以對該壓縮影像進行一第一網格步驟，並將經過該第一網格步驟之該影像尺寸及亮度放大，然後對該放大影像進行一第二網格步驟。
    [2] 如申請專利範圍第1項所述之裝置，其中該網格單元係重複地放大該影像尺寸、亮度，並重複進行該第二網格步驟，至該預設次數。
    [3] 如申請專利範圍第1項所述之裝置，其中該網格單元係於先前視差之周邊像素進行該第二網格步驟。
    [4] 如申請專利範圍第1項所述之裝置，其中該階層式結構形成單元係包括：一模糊化單元，用以評估一任意像素與預設周邊像素之一平均值，並將該評估後像素平均值儲存在該對應之像素中；以及一次取樣單元，用以在多個像素中選擇一者。
    [5] 如申請專利範圍第4項所述之裝置，其中該次取樣單元係自四像素中選擇一者。
    [6] 如申請專利範圍第1項所述之裝置，其中該網格單元係包括：一線抽取單元，其係用以抽取一線，該線係對應於一影像之一對應點；一亮度差計算單元，其係用以計算該線抽取單元抽取出之該線之像素間的亮度差；一路徑指定單元，其係使用該亮度差與一預設不匹配參數來指定路徑；一最佳路徑決定單元，其係用以從該路徑指定單元所指定之該路徑之中，選定一最佳之路徑；以及一放大單元，其係用以放大該影像之尺寸/亮度。
    [7] 如申請專利範圍第6項所述之裝置，其中該亮度差計算單元係將亮度差應用於一網格結構中。
    [8] 如申請專利範圍第7項所述之裝置，其中，在該網格結構之一不匹配節點，該路徑指定單元係指定下述數值中最小者：一前階段之一等階值；藉由將該不匹配參數加上一較高階值而獲得之值；以及藉由將該不匹配參數加上一較低階值而獲得之值。
    [9] 如申請專利範圍第7項所述之裝置，其中，在網格結構之一匹配節點，該路徑指定單元係以將其本身之節點值加上該前階段之該等階值，來指定一最小值。
    [10] 如申請專利範圍第6項所述之裝置，其中該最佳路徑決定單元係藉由決定一最小化能量的視差，來決定一最佳路徑。
    [11] 如申請專利範圍第6項所述之裝置，其中當進行該第二網格步驟時，該亮度差計算單元係計算一先前視差區域之周邊像素之亮度差。
    [12] 一種階層式立體匹配方法包括：形成一壓縮影像，係藉由壓縮左、右影像；進行一第一網格步驟，於該壓縮影像上；產生一放大影像，係藉由放大該壓縮影像之尺寸及亮度；以及進行一第二網格步驟，於該放大影像上。
    [13] 如申請專利範圍第12項所述之方法，其中形成該壓縮影像之程序係包括：評估一任意像素與預設周邊像素之一平均值，並將該評估後像素平均值儲存在該對應像素中；以及選擇多個像素中一者。
    [14] 如申請專利範圍第13項所述之方法，其中形成該壓縮影像之程序係進一步包括：以預設次數重複進行該儲存及選擇步驟。
    [15] 如申請專利範圍第12項所述之方法，其中進行該第一網格步驟之程序係包括：抽取自該壓縮影像之一線；計算該線之所有像素的亮度差，並應用該計算出的該亮度差於一網格結構中；指定多條路徑，係使用該亮度差與一預設不匹配參數；以及自該些指定路徑之中決定一最佳之路徑。
    [16] 如申請專利範圍第14項所述之方法，其係進一步包括：重複進行產生放大影像以及該第二網格步驟至預設次數。
    [17] 如申請專利範圍第12項所述之方法，其中進行該第二網格步驟之程序係包括：抽取自該放大影像之一線；計算一先前視差區域之周邊像素之亮度差，並應用該計算出的亮度差於該網格結構中；指定路徑，係使用該亮度差與該預設不匹配參數；以及決定一最佳之路徑，係自該些指定路徑之中。
    [18] 如申請專利範圍第15項或第17項所述之方法，其中該指定路徑之程序係包括：指定下述數值中最小者：一前階段之一等階值、藉由將該不匹配參數加上一較高階值而獲得之值、以及藉由將該不匹配參數加上一較低階值而獲得之值，於該Trellis結構之一不匹配節點中；以及指定一最小值，係將其本身之節點值加上該前階段等階值，於該Trellis結構之一匹配節點。
    [19] 如申請專利範圍第15項或第17項所述之方法，其中該決定最佳路徑之程序係包括：決定一最佳路徑，係藉由決定最小化能量之一視差。
    类似技术:
    公开号 | 公开日 | 专利标题
    RU2417548C2|2011-04-27|Фиксация и создание стереоизображений и стереовидео в реальном времени моноскопическим маломощным мобильным устройством
    US9361680B2|2016-06-07|Image processing apparatus, image processing method, and imaging apparatus
    US10771697B2|2020-09-08|Still image stabilization/optical image stabilization synchronization in multi-camera image capture
    TWI576790B|2017-04-01|階層式立體匹配裝置及方法
    TWI602152B|2017-10-11|影像擷取裝置及其影像處理方法
    JP4721285B2|2011-07-13|ピクセルごとに差分的に準規則的にデジタルイメージを修正するための方法およびシステム
    EP2811457A1|2014-12-10|Image processing method and apparatus
    WO2018188277A1|2018-10-18|视线校正方法、装置、智能会议终端及存储介质
    RU2438179C1|2011-12-27|Устройство и способ для формирования изображения, программа для его реализации и носитель информации, который хранит программу
    KR20140118031A|2014-10-08|영상 처리 장치 및 방법
    JP2010506482A|2010-02-25|ビデオストリームの視差回復方法及びフィルタ
    TWI618394B|2018-03-11|利用影像特性之立體匹配裝置
    CN103136745A|2013-06-05|利用散焦碉堡图像执行深度估计的系统及方法
    Ehmann et al.2018|Real-time video denoising on mobile phones
    Rossi et al.2020|Joint graph-based depth refinement and normal estimation
    JP6389131B2|2018-09-12|局所基準のグラフ基準選択を用いたｈｄｒ画像生成におけるゴーストアーチファクトの検出及び除去
    JP5506320B2|2014-05-28|タイヤ表面の検査方法
    KR101027003B1|2011-04-11|스테레오 매칭 장치 및 그 방법
    KR100764414B1|2007-10-05|Ｐｓｆ 선택 모듈, 디지털 자동 초점 조절 장치 및 ｐｓｆ선택 방법
    JP2014160912A|2014-09-04|画像処理装置、撮像装置、画像処理方法及びプログラム
    JP6624785B2|2019-12-25|画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
    TWI504235B|2015-10-11|多視角影像的修正裝置及其方法
    Bätz et al.2016|Multi-image super-resolution for fisheye video sequences using subpixel motion estimation based on calibrated re-projection
    Chari et al.2020|Optimal HDR and depth from dual cameras
    EP3605450B1|2021-09-22|Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program
    同族专利:
    公开号 | 公开日
    KR20130057324A|2013-05-31|
    US20140334716A1|2014-11-13|
    CN103947197A|2014-07-23|
    TWI576790B|2017-04-01|
    CN103947197B|2017-03-08|
    US9390507B2|2016-07-12|
    KR101875532B1|2018-07-11|
    WO2013077522A1|2013-05-30|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US793336A|1902-07-10|1905-06-27|Charles F West|Advertising or like device.|
    US6043844A|1997-02-18|2000-03-28|Conexant Systems, Inc.|Perceptually motivated trellis based rate control method and apparatus for low bit rate video coding|
    DE602004015759D1|2004-06-11|2008-09-25|Saab Ab||
    KR20060023714A|2004-09-10|2006-03-15|학교법인 포항공과대학교|영상 정합 시스템 및 영상 정합 방법|
    EP1662799A3|2004-11-30|2012-05-30|Humax Co., Ltd.|Video down-sampling transcoding method and device|
    KR100727033B1|2005-12-07|2007-06-12|한국전자통신연구원|네트워크 기반 지능형 서비스 로봇의 비전 처리 장치 및방법과 이를 이용한시스템|
    KR100806201B1|2006-10-30|2008-02-22|광주과학기술원|깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체|
    KR100920227B1|2007-06-29|2009-10-05|포항공과대학교 산학협력단|신념 전파 기반의 고속 시스톨릭 어레이 장치 및 그 방법|
    US8290298B2|2009-01-20|2012-10-16|Mitsubishi Electric Research Laboratories, Inc.|Method for temporally editing videos|
    KR101027003B1|2009-09-03|2011-04-11|포항공과대학교 산학협력단|스테레오 매칭 장치 및 그 방법|
    KR20110114250A|2010-04-13|2011-10-19| 에투시스템|상위 스캔라인의 양안차를 이용한 트렐리스 기반 스테레오 정합 시스템|
    EP2386998B1|2010-05-14|2018-07-11|Honda Research Institute Europe GmbH|A Two-Stage Correlation Method for Correspondence Search|
    KR20120072245A|2010-12-23|2012-07-03|한국전자통신연구원|스테레오 영상 정합 장치 및 방법|
    US8994722B2|2011-02-14|2015-03-31|Mitsubishi Electric Research Laboratories, Inc.|Method for enhancing depth images of scenes using trellis structures|TWI471814B|2012-07-18|2015-02-01|Pixart Imaging Inc|降低背景干擾的手勢判斷方法及其裝置|
    KR102161613B1|2013-12-11|2020-10-05|엘지이노텍 주식회사|깊이영상 생성장치|
    KR102214934B1|2014-07-18|2021-02-10|삼성전자주식회사|단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법|
    CN108068482B|2016-11-10|2019-09-03|王子彩色制版企业有限公司|立体印刷的处理方法|
    US10839541B2|2018-03-14|2020-11-17|Google Llc|Hierarchical disparity hypothesis generation with slanted support windows|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    KR1020110123170A|KR101875532B1|2011-11-23|2011-11-23|계층적 스테레오 매칭 장치 및 방법|
    [返回顶部]